Сергей тут написал, что вертолёты не только для гравия используют, но и для переезда, перевоза коров, и чтобы забрать большие вещи с верхних этажей, типа пальм. В прекрасной Латвии будущего мы тоже так будем. На ховербайках парить со шкафами и горшками! Если, конечно, нас машинный разум на скрепки не переделает. Мне тут попалась игра как раз про это. Она без графики, но в целом затягивает. Из жанра "щёлкай побольше, и смотри как цифры растут". Цель - переделать всю планету на скрепки, разумеется. И даже не планету, а всю доступную вселенную.
Это, если кто ещё не слышал, известный сценарий апокалипсиса. Дело не в том, что ИИ злой, как в терминаторе, а в том, что у нас нет способа определить, что его цель совпадает с нашей. Мы просим его производить скрепки, и он так и делает. Но не знает, что это временно, только пока нам нужны скрепки. Может так увлечься, что только скрепки и останутся целью всего его существования. Узнать, понимает ли ИИ, что скрепки нужны там до определённого количества, а не до конца, мы не сможем никак. Если его спросить, ИИ может соврать, зная, что это то, что мы хотим услышать.
Эта проблема называется alignment problem, и некоторые исследователи ИИ считают, что у нас пока нет даже идей, как к ней подобраться, и за последние несколько лет всё становится только хуже. Так, Элизер Юдковский даже написал статью: MIRI announces new "Death With Dignity" strategy, в которой призывает хотя бы побороться, насколько хватит сил, раз уж победить мы уже точно не сможем. Такие дела.
К счастью, пока этого не случилось, мы можем любоваться видами швейцарских гор, которые мне пока ещё не надоели. Я знал, что согласно прогнозу MeteoSwiss меня ждёт дождик около двух-трёх часов. Так и случилось. К счастью, этот маршрут очень популярный, и потому на нём частенько стоят хатки для хайкеров, чтобы укрыться от непогоды. Как раз когда я проходил мимо такой, начало накрапывать, и я решил не испытывать судьбу. Вернулся, сел на скамеечку, и скоро ко мне стали присоединяться другие бедолаги, сбежавшие от стихии. Не все, правда, и мне страшно представить, как промокли те, кто был на полпути до следующей хатки.
